Maya Indira GANESH. « The Irony of Autonomy », Humanities and Social Sciences Communications, volume 7, Article n° 157, 2020. Extraits traduits de l’anglais par Noémie Ségal, in Anne CHANIOLLEAU et Olivier PEYRICOT (dir.). Autofiction, n°5, Capta [fanzine]. Saint-Étienne : Cité du design, 2022, p. 28-33.
La recherche actuelle sur les véhicules autonomes vise principalement à en renforcer la sécurité, à la fois en développant des règles de gestion de l’innovation et en intégrant ces véhicules dans les réseaux de mobilité, notamment urbains. On adoptera ici une approche sociale, culturelle et philosophique afin d’apprécier de manière critique comment la subjectivité humaine et les relations humaine-machine1 sont en train de changer – et comment ce déplacement coïncide avec le développement d’algorithmes et de techniques de big data appliquées à l’automatisation de la conduite. Au cours du xxe siècle, l’ingénierie aéronautique et celle de l’automobile ont développé des méthodes de sûreté et d’automatisation qui ont soit cherché à effacer l’humaine, cette créature inefficace et sujette à l’erreur ; soit à compenser les limites humaines par le design ; soit à grimer l’humaine en machine après avoir évalué en quoi les compétences de chacune étaient complémentaires. Des tensions qui en émergent naissent ce que j’appellerai ici les « ironies2 de l’automatisation ». Il s’agit par exemple du fait que la machine, pourtant supérieure en puissance de calcul et en efficience, requiert des opérateur·rice·s humain·e·s pour s’assurer qu’elle fonctionne bien ; et que l’humaine sera inévitablement tenue pour responsable des erreurs de la machine, aussi performante et précise cette dernière soit-elle. Les véhicules autonomes (VA) sont à la fois des IA (intelligences artificielles) et des « robots » mais aussi des automobiles, et des types d’architecture distribuée dotés d’infrastructures de big data. Avec leur émergence, les croyances relatives à l’humaine et à la machine se dissolvent dans ce que je nomme les ironies de l’autonomie. Ainsi, les récents accidents de VA laissent penser que les opérateur·rice·s humain·e·s ne peuvent pas intervenir dans les opérations statistiques qui concourent à la prise de décision automatisée par machine learning – alors même que l’on attend d’elleux qu’iels le fassent. Et tandis que les VA promettent toujours plus de « liberté », le temps, le travail et les corps humains se retrouvent imbriqués dans des infrastructures de données qui les surveillent en retour et les façonnent selon leurs flux d’informations. Le décalage que l’on observe naît du fait que la subjectivité humaine ne va pas sans implications socio-économiques et juridiques, ni ne peut se définir par une liste d’attributs fixes qui correspondraient à d’éventuels points de convergence entre l’humaine et la machine. L’article qui suit mobilise les concepts post-phénoménologiques de corporéité et d’instrumentalisme, ainsi que des extraits de conclusions de terrain, à l’appui de l’hypothèse suivante : l’émergence des VA dans la société invite à repenser les multiples types de relationnalité qui constituent l’humanité à travers les machines.
Les accidents
On s’intéressera ici au rôle des humaines face aux nouveaux véhicules autonomes, sous deux aspects. Le premier est lié à l’idée selon laquelle la conduite autonome serait sur le point de remplacer le·la conducteur·rice humain·e à coups de calculs informatiques et d’automatisation, au point que l’on pourrait parler de « robot de conduite ». Or, l’automatisation ne remplace pas l’être humain : elle le·la déplace vers des tâches différentes3. Je montrerai que les humaines sont distribuées à travers tout l’Internet en tant que travailleuses dont les micro-tâches, rémunérées ou non, permettent de faire fonctionner les systèmes de vision par ordinateur ; elles sont aussi les conductrices qui supervisent les VA en mode de conduite automatique4. En plus de leur rôle en ligne, on encourage les êtres humains à entrer en « empathie » avec la machine encore émergente et qui apprend tant bien que mal à se repérer dans le monde. Ces occurrences relèvent de l’hétéromation, un phénomène également observé sur les plateformes et les services en ligne actuellement : un « nouvel arrangement économique dans lequel les humaines sont reléguées en marge des machines et des algorithmes pour fournir un travail dont la gratification est minimale, voire inexistante5 ». Distincte de l’automatisation, qui voit « la machine occuper le premier rôle », comme de l’augmentation, dans laquelle « la machine vient à la rescousse », l’hétéromation désigne la situation où « la machine appelle à l’aide6 ». L’humaine y est déchiffrable comme un « composant de calcul7 ». Le second aspect est lié à un constat : les discours relatifs aux VA procèdent de l’idée d’une transition du·de la conducteur·rice humain·e vers le robot de conduite, justement parce que le VA n’est ni une simple automobile, ni un robot, mais une infrastructure de données distribuées basée sur l’intelligence artificielle. L’humaine peut se retrouver dans une position de sujet qu’elle n’est pas toujours en mesure d’anticiper ni de contrôler, les infrastructures de big data étant ce qu’elles sont. C’est une chose que d’attendre de l’humaine qu’elle soit suffisamment vigilante pour prendre le relais à tout moment ; mais nous sommes ici dans un tout autre univers, un monde que les VA perçoivent à travers le machine learning, et dans lequel ils prennent des décisions sur cette base. […]
L’optimisation et la standardisation des données corrélées par les statistiques qui maillent la vision informatique produisent des subjectivités humaines multiples et conflictuelles au sein du VA : celle d’une victime de collision, par une nuit sombre ou dans une rue mal éclairée ; celle qui, assise à la place délicate de l’opérateur·rice, est censée prendre le contrôle du véhicule en un clin d’œil, alors qu’elle n’a aucune maîtrise des contingences propres aux infrastructures de calcul dans lesquelles elle se trouve ; et celle du rouage cognitif « hétéromatisé » dont dépendent ces infrastructures matérielles, voué entre autres à annoter et à légender les images destinées aux systèmes de vision par ordinateur. Bien que l’humaine n’ait qu’une faible capacité de contrôle sur de tels systèmes, c’est toujours elle qui doit rendre des comptes et que l’on tient pour responsable ; à cela s’ajoutent des systèmes de mesure et de surveillance qui contraignent l’humaine à rester vigilante et impliquée dans son rôle de superviseuse de conduite, comme nous le verrons plus bas. […]
Note : L’expression « ironies de l’autonomie » est une variation sur l’expression de Lisanne Bainbridge, « les ironies de l’automatisation », selon laquelle « le système de contrôle automatique a été intégré parce qu’il fait mieux le travail que l’opérateur·rice ; pourtant, c’est à ce·tte dernier·ère que l’on demande de surveiller le bon fonctionnement du premier8 ». Le mot « ironies » renvoie également à d’autres contradictions et décalages liés à la nature hybride d’un VA situé à la croisée des chemins entre IA et robot, infrastructure de big data et véhicule automatisé. Les relations humaine-machine se sont forgées autour des progrès du génie automatique et aéronautique du xxe siècle ; il importe de les réexaminer alors que la présence humaine est distribuée et transférée dans l’ensemble du système. Ces conceptions originelles ont laissé se creuser de sérieuses failles au niveau du droit et de la responsabilité, lesquelles nécessitent le recours à de nouvelles approches pour protéger les valeurs humaines. Ce que ne fait pas la réglementation de l’automatisation, tout en prétendant le contraire9. […]
Les robots de conduite et leurs mesures
« Qu’est-ce qu’un véhicule autonome ? » Simple en apparence, cette question renvoie à une cartographie concrète des pratiques de constitution du savoir, des métaphores, des institutions et des infrastructures qui le composent. En identifiant les jeux discursifs croisés du langage et de la quantification – ceux-là mêmes qui construisent l’autonomie –, j’entends rendre sa valeur politique à ce terme qui, sans cela, demeure opaque, fictionnel. Le langage de la conduite autonome renvoie au cliché du robot, que l’on imagine comme un cerveau informatique dans un corps automobile, ou une mécanique automatique dénuée d’humaines : la voiture sans conducteur·rice, le robot-taxi, les véhicules ou systèmes sans équipage (incluant les drones et les robots). Dire qu’une voiture « roule seule » laisse entendre qu’elle pourrait posséder une notion de sa propre identité – ou que les humaines lui attribuent une identité propre parce qu’elle est capable de se déplacer seule. On imagine le VA comme un artefact distinct de l’humaine mais humanoïde dans ses capacités de calcul, et désigné comme une « intelligence » ; et, de même que l’intelligence artificielle est regardée comme une « incroyable machine pensante » capable de prendre des décisions pour elle-même, automatiquement ou « autonomement10 ». Dans la publicité, le cinéma, la littérature, les programmes télévisés ou les publications spécialisées, les VA sont largement anthropomorphisés11. […]
Un véhicule est autonome s’il se déplace sur le macadam comme le ferait un·e conducteur·rice humain·e, de son propre chef et sans avoir besoin d’une humaine pour le surveiller. […]
Un·e conducteur·rice est capable de combiner ses sensations, sa perception, sa mémoire et son corps pour produire une réponse adaptée. […]
C’est précisément cette incapacité du VA à s’adapter et à répondre à la volée qui rend l’intervention humaine nécessaire. La fréquence de ces passages de relais est devenue un point de mesure sous le nom de « désengagements » ; mesurés en Californie, ils renvoient au nombre de kilomètres parcourus en mode « autonome » (la présence humaine étant requise légalement) avant que l’humaine n’ait à intervenir12. […]
L’héritage de l’automatisation
L’automatisation deviendra autonomie via un processus de prise de décision basé sur le machine learning et soumis à la « logique en cascade de l’automatisation ». Autrement dit, chaque entité automatisée a besoin de l’une de ses semblables : la collecte automatisée de données à grande échelle ne peut être analysée que par des processus eux-mêmes automatisés et à grande échelle, et non manuellement13. L’automatisation engendre toujours plus d’automatisation ; tout autre résultat témoigne d’une friction qui ralentit le processus. Des situations de ce type laissent croire que l’humaine a disparu, alors que ce sont moins les humaines que leurs jugements et décisions qui sont effacés. Et la conduite est un domaine dans lequel on constate souvent la piètre valeur des décisions humaines. […] La prise de décision des machines n’est pas seulement rapide mais aussi efficiente et correcte, dès lors qu’elles voient tout, partout et « objectivement » – telles sont du moins les propriétés que l’on attribue aux technologies du big data – dans ce qui s’apparente à un « tour de passe-passe divin14 ». […] Au cours du xxe siècle, les besoins en sécurité aéronautique ont conduit à un développement de l’informatique et de l’automatisation qui, à leur tour, ont fortement influencé les relations humaines-machines en déterminant ce que les secondes réussissaient mieux que les premières (et vice versa) et ce qu’il valait mieux accomplir en collaboration. Ces préoccupations de longue date sont désormais transposées aux VA. […] Ainsi, certaines tâches fondées sur les compétences constituent un terrain idéal pour l’automatisation car elles comptent une série d’étapes définies et routinières, comme se poser en avion ou faire un créneau en voiture. Mais un atterrissage dans des conditions défavorables fait appel à une expertise, une intuition et un jugement qu’une diversité d’expériences aura affûtés ; c’est pourquoi une telle situation est notoirement difficile à transcrire sous la forme de tâches destinées à un système automatisé15. Plus un environnement, plus une tâche sont formalisés, déterminés et certains, plus il est aisé de les automatiser. […] Bainbridge se demande sous quelles conditions l’automatisation des tâches peut conduire à des situations ironiques16. Dans certains cas, le pilotage automatique des VA rend manifeste l’appauvrissement progressif des compétences humaines, en lien avec le développement de l’automatisation. Les études menées sur les accidents de VA montrent que l’humaine, déjà réputée peu attentive, se retrouve libérée de la charge de l’attention par l’automatisation qui, elle, ne l’est pas du tout. Pourtant, elle paie le lourd tribut de l’inattention quand une prérogative du système automatisé, par exemple la vision numérique, vient à faire défaut suite à une modification subite de l’environnement, et requiert son attention pour gérer la situation. […]
Autre emprunt au génie aéronautique, la notion de « human in the loop17 » est au fondement de la forme légale donnée au principe de responsabilité dans les domaines de la robotique et des technologies de l’autonomie. À la fois métaphore évocatrice et recommandation pratique, le principe de « human in the loop » procède avant tout d’un mécanisme de sécurité. Selon Meg Leta Jones, une telle idée pèche notamment du fait que l’humaine a toujours été dans la boucle, et qu’on ne peut l’en effacer ni l’en éjecter. Jones souligne l’ironie présente dans le droit américain, qui fait sienne cette vision de l’automatisation dans laquelle humaine et machine sont distinctes et seulement liées par ladite boucle, mais manque ainsi de reconnaître la nature intrinsèquement sociotechnique de l’automatisation. Ainsi, alors même qu’elle entend protéger l’humaine, cette réglementation aboutit, de fait, à une protection moindre dès lors qu’elle sépare les deux termes18. Jones avance l’idée que le droit – et j’y associerais tous les régimes de responsabilité, plus généralement – devrait rompre la boucle pour la remplacer par un « nouage politique » intégrant le design, sa mise en œuvre et les relations sociales.[…]
Corporéité
Les mondes de l’entreprise, de la conception de VA et des HCI19 sont devenus depuis peu le lieu de nouveaux récits laissant penser que le langage des relations humaine-machine évolue, passant de la « boucle » aux registres plus affectifs du « faire équipe », de la confiance et de l’empathie20. […]
L’idée d’automobilité montre à quel point la voiture est une extension de l’humaine : elle constitue une « hybridation complexe des corps biologique et machinique21 » dans laquelle « de nouvelles formes de familiarité s’élaborent, associant “les attributs d’un être animé à la machine” » ; « nous éprouvons l’auto, mais aussi à travers elle et avec elle22 ». […] Ce genre d’interactions phénoménologiques entre humaines et technologies érige un « monde de la vie23 » [lifeworld] en modèle de la connaissance, de la politique, de l’esthétique et de la normativité, entre autres. […] Le concept de corporéité résonne tout particulièrement dans le cas des VA ; il renvoie à l’idée d’« intégrer » un dispositif technologique dans l’expérience corporelle humaine, et, inversement d’étendre l’humaine au dispositif, en sorte que la technologie « disparaît » jusqu’à devenir théoriquement invisible24. […]
La post-phénoménologie illustre généralement l’idée de corporéité par des exemples anodins tels que les lunettes de vue et les cannes, qui deviennent opérantes en « s’embarquant » avec le corps humain, l’un s’imbriquant dans l’autre pour pouvoir fonctionner. Le cas des VA constitue cependant une forme périlleuse d’« hybridation » entre l’auto et le·la conducteur·rice, dépassant le corps pour inclure des états émotionnels et psychoaffectifs, dès lors qu’en elle se joue un jeu de vie et de mort – les accidents en témoignent. Un autre ensemble de relations lie l’humaine, corps et esprit, aux VA ; je les détaille ci-après, avant d’aborder les implications sociales de la corporéité. […]
Les VA sont semble-t-il dotés d’une vue si mauvaise qu’elle ne leur permet pas de conduire sans être à l’origine d’un grand nombre d’accidents mortels. On ne peut accuser le VA, bardé de capteurs divers, de caméras, de Lidar et de radars pour répertorier son environnement, d’être dépourvu de capacités visuelles ; mais il ne sait pas faire sens de ses sens. Il lui faut des humaines pour annoter les images et permettre aux algorithmes d’apprendre à l’ordinateur à suffisamment distinguer un objet d’un autre pour ensuite appliquer cette capacité de discrimination à des images nouvelles ou inhabituelles. […] L’écart que creuse l’hétéromation par rapport à l’automatisation n’est pas un simple déplacement, entre le transfert du contrôle de l’humaine à la machine (dans l’automatisation) et le passage de relais de la machine à l’humaine (dans l’hétéromation). Les humaines « hétéromatisées » ajoutent une valeur significative pour les sociétés éditrices de logiciels et d’IA. Cela anéantit également l’idée que les humaines et les machines, chacune dans leur rôle respectif, pourraient s’amalgamer. […] C’est la machine, ou une humaine, ou une humaine supervisant une machine, qui arbitre la nature d’une chose – un·e piéton·ne, un terre-plein central ou bien le ciel – et cette décision est le fruit d’une corrélation statistique entre les points de données qui constituent le monde du véhicule autonome. Dans certains domaines comme la modération de contenus en ligne, il existe des recommandations spécifiques pour déterminer comment les modérateur·rice·s humain·e·s doivent statuer sur un contenu, non pas (ou pas seulement) parce que cela touche à l’expression, mais parce qu’une interprétation erronée ou une annotation décontextualisée peuvent changer l’histoire elle-même. […] La prise de décision par les humaines et par les machines, qui permet au VA de se déplacer dans le monde, est aussi ce qui recompose ce dernier. […]
La mesure comme contrôle
[L]a surveillance et le monitoring des conducteur·rice·s humain·e·s fait désormais partie intégrante de l’expérience de conduite d’un VA. Pour tester un VA, on installe une caméra face au·à la conducteur·rice pour enregistrer et mesurer son comportement, ses états physiologiques et ses émotions. On est là face à de l’informatique affective en pleine action – un champ interdisciplinaire en essor qui analyse les expressions faciales, la démarche et la posture des individus pour cartographier leurs états émotionnels grâce au machine learning. […] Il ne fait aucun doute que ces données de surveillance seront brandies par les constructeurs automobiles et les sociétés de VTC contre de futures mises en cause de leur responsabilité, par exemple, si cela leur permet de prouver que les conducteur·rice·s n’étaient pas attentif·ve·s. Cette surveillance équivaut à un contrôle corporel littéral : elle sert à évaluer les gens. […] D’autres formes de quantification existent, en matière de technologies en réseau et de l’informatique ubiquitaire ; nous faisons appel à elles pour suivre et optimiser notre santé, notre bien-être et notre réussite personnelle25. La mesure de l’activité, des corps et des affects humains dans un contexte de travail constitue un socle informationnel qui, une fois trié, classifié, analysé, aboutira à la production de catégories sociales dont les effets seront considérables. Ainsi, une tendance à la criminalité ou la solvabilité sont désormais déterminées par des algorithmes fondés sur des profils individuels passés au crible de l’analyse de données. De larges pans de populations déjà défavorisées se trouvent ainsi placés sous contrôle26. […] L’émergence des technologies de l’information remonte à l’apparition d’outils de mesure dans le contexte colonial et esclavagiste des xviiie et xixe siècles ; en ont résulté des catégories singulières telles que la race, les pathologies mentales et la criminalité qui, avec d’autres, ont progressivement servi à contrôler et à discipliner des populations entières. […]
La data science automatisée classe et évalue des groupes de personnes au moyen d’opérations que la post-phénoménologie qualifierait d’« instrumentalistes » : des mécanismes de mesure qui transforment tant l’expérience humaine que la connaissance du monde27. De telles pratiques renvoient aux deux significations du mot « dispositif » : un ensemble foucaldien d’institutions et de pratiques discursives qui modèlent le savoir ; et un instrument de mesure au sens propre. Les dispositifs de mesure ne sont ni inertes, ni objectifs, ni universels. Ils produisent les phénomènes qu’ils prétendent mesurer, et trahissent leurs origines dès lors qu’on les examine de plus près28. […]
[Un] phénomène tel que « l’autonomie » peut être mesuré au moyen de l’« outil » que constitue, par exemple, un rapport de désengagement. L’« éthique » de la conduite autonome peut se fonder sur des valeurs produites de manière participative par les contributeur·rice·s d’un jeu en ligne imaginant quelle réaction un VA fictif devrait opposer à un incident inattendu29. Les outils de mesure ne font pas qu’observer et enregistrer ; ils contribuent activement à la création d’une réalité et d’étiquettes catégorielles telles que fiable, efficace ou autonome. Loin d’être objectives, les technologies big data sur lesquelles s’appuient ces outils reconduisent des biais et amplifient des désavantages établis relatifs à la race, au genre et à la situation socio-économique30. C’est pourquoi on ne peut affirmer que toutes les humaines seront évaluées de la même manière, quelle que soit la prétendue « objectivité » des mesures.[…]
Conclusion
Les humaines sont tenues pour responsables du moindre défaut des logiciels, y compris les plus modernes, censés les remplacer31. L’ironie de cette situation est redoublée par le paradoxe de l’Autonomie-Sécurité : « Quand le niveau d’autonomie robotique croît, le risque d’accident croît aussi, en sorte qu’il deviendra de plus en plus difficile d’identifier qui est responsable d’un quelconque dégât32. »[…]
On le voit, les humaines subissent des déplacements, qu’elles soient travailleuses, manageuses, superviseuses, conductrices, consommatrices ou autres. Pour s’en convaincre, il suffit d’explorer la stratification des pratiques propres à « l’autonomie » – comme j’ai tenté de le faire ici – afin d’y identifier le rôle de l’humaine. L’histoire de la science et de la technologie regorge d’exemples de personnes défavorisées se retrouvant toujours plus marginalisées. L’apparition de toute nouvelle technologie suscite un enthousiasme qu’il importe de modérer par la prise en compte des injustices et inégalités qui, parcourant la société, ne manqueront pas de se manifester en même temps que se déploiera la technologie en question. […]
Un système automatisé comme celui de la vision par ordinateur laisse si peu de place à l’intervention humaine qu’il devient impossible d’incriminer celle-ci. Dans un contexte où les tests se déroulent grandeur nature et hors de toute réglementation, comment pourra-t-on garantir aux populations locales qu’elles ne feront pas l’objet de défaillances ni ne seront effacées de leur champ de vision par les ordinateurs ? Comment pourrait s’exprimer une solidarité avec les mouvements de chercheur·se·s et d’activistes qui résistent à la classification algorithmique ? Plus que de simples automobiles, les VA s’apparentent désormais à des plateformes de données commerciales : dès lors, les questions du travail, de la protection et de l’usage des données doivent faire l’objet d’un traitement prioritaire. Tout comme les travailleur·se·s des plateformes et les agent·e·s à la tâche se sont organisé·e·s, tout comme les employé·e·s de la tech dans la Silicon Valley se sont structuré·e·s, il importe de voir quelles protections existent pour les personnes impliquées dans le développement des capacités des VA. La communauté du véhicule autonome, qu’il s’agisse de la recherche ou de la pratique, n’a pas sérieusement répondu à ces problématiques qui traversent des domaines aussi différents que la régulation automobile, la protection des données et la gouvernance de l’IA. Du côté de la recherche et innovation comme de la promotion publique, il faudra prêter une attention accrue à la manière dont de nouveaux publics et de multiples parties prenantes émergent et façonnent cette technologie, en plus des traditionnels acteurs institutionnels et investisseurs. Tous ces réseaux et chacune de ces connexions ont leur importance ; ils doivent complexifier la construction discursive des VA. Insistons sur les ironies d’une autonomie qui n’implique ni séparation ni isolement mais nécessite au contraire des liens de confiance et d’influence mutuelle.